Dari tahun 1947 through 1956, setiap pengundi BBWAA menggunakan budi bicara untuk menentukan pemain yang layak sebagai rookie. Pada tahun 1957, terma itu mula digunakan bagi seseorang yang menghasilkan kurang 75 masa pukulan atau kurang 45 inning pitched dalam musim Major League Baseball sebelumnya. Garis panduan ini kemudiannya dianjak kepada 90 masa pukulan, 45 innings pitched atau 45 hari dalam jadual Major League sebelum menjelang 1 September pada tahun sebelumnya.[1] Standard terkini pula ialah 130 masa pukulan, 50 innings pitched atau 45 hari dalam jadual aktif pasukan Major League Baseball (tidak termasuk tempoh dalam khidmat tentera atau dalam senarai kecederaan) sebelum menjelang 1 September yang mana ia telah diguna pakai pada 1971.[1][3] Sejak tahun 1980, setiap pengundi menamakan tiga orang rookie. Pilihan di tempat pertama akan diberikan lima mata, pilihan di tempat kedua akan memperoleh tiga mata manakala pilihan di tempat ketiga pula akan meraih satu mata. Anugerah akan disampaikan kepada pemain yang memperoleh mata terbanyak secara keseluruhan .[1][4]

Anugerah ini telah berdepan dengan kritikan pada tahun-tahun terkini kerana beberapa pemain yang berpengalaman dari Nippon Professional Baseball (NPB) telah merangkul anugerah ini seperti Hideo Nomo pada 1995, Kazuhiro Sasaki pada 2000, Ichiro Suzuki pada 2001 dan Shohei Ohtani pada 2018. Definisi terkini untuk status rookie bagi meraih anugerah ini ialah berdasarkan pengalaman di Major League tetapi terdapat sesetengah pihak merasakan pemain yang berhijrah dari NPB bukanlah rookie sebenar kerana mereka sedangkan mempunyai pengalaman di peringkat profesional pada masa lalu. Walau bagaimanapun, pihak lain pula percaya bahawa ia tidak membawa perbezaan kerana penerima sulung anugerah ini dan pemain yang menjadi nama sempena anugerah ini telah beraksi di liga Negro sebelum melanjutkan kariernya di MLB. Jadi, beliau juga tidak patut sebenarnya dikira sebagai "rookie sebenar".[5][6] Isu ini timbul pada 2003 apabila Hideki Matsui yang berpeluang hampir meraih anugerah ini sebelum tewas kepada anugerah di peringkat AL kepada Ángel Berroa. Jim Souhan daripada Minneapolis Star Tribune berkata bahawa beliau tidak melihat Matsui sebagai seorang rookie kerana "ia merupakan satu penghinaan kepada liga Jepun untuk tidak beranggapan pengalaman beraksi di sana tidak dikira."[5] The Japan Times pula menyiarkan sebuah kisah pada 2007 yang melabelkan Daisuke Matsuzaka, Kei Igawa dan Hideki Okajima sebagai rookie, dengan menyatakan "pemain-pemain tersebut bukanlah rookie."[6] Pemenang dahulu seperti Jackie Robinson, Don Newcombe dan Sam Jethroe telah memiliki pengalaman di peringkat profesional sebelumnya iaitu bermain di liga Negro.